Top-$ k $分类是对信息检索，图像分类和其他极端分类设置中广泛使用的多类分类的概括。已经提出了几种类似铰链的（分段线性）替代物，但所有这些都不是不一致的或不一致的。对于提出的凸状替代物（即多面体），我们应用了Finocchiaro等人的最新嵌入框架。 （2019; 2022）确定替代物是一致的预测问题。这些问题都可以解释为顶部 - $ K $分类的变体，这可能与某些应用程序更好。我们利用此分析来得出对条件标签分布的限制，在该分布中，这些拟议的替代物在顶级$ k $中变得一致。有人进一步建议，对于顶部$ k $，每个凸铰链样的替代物都必须不一致。但是，我们使用相同的嵌入框架为此问题提供第一个一致的多面体代理。
translated by 谷歌翻译
样式是自然语言文本的重要组成部分，反映了文本语调的变化，同时保持基础信息相同。即使编程语言具有严格的语法规则，它们也具有风格。代码可以使用相同的功能编写，但使用不同的语言功能。但是，编程样式很难量化，因此，作为这项工作的一部分，我们定义了专门针对Python的样式属性。为了构建样式的定义，我们利用层次聚类来捕获样式定义，而无需指定转换。除了定义样式外，我们还探索了预训练的代码语言模型的功能，以捕获有关代码样式的信息。为此，我们微调了预训练的代码语言模型，并在代码样式转移任务中评估了其性能。
translated by 谷歌翻译
许多测量机器人和动态障碍状态的商品传感器具有非高斯噪声特征。然而，许多当前的方法将运动和感知的潜在不确定性视为高斯，主要是为了确保计算障碍。另一方面，与非高斯不确定性一起工作的现有计划者不会阐明运动和感知噪声的分布特征，例如偏见以避免有效碰撞。本文通过将避免反应性碰撞解释为碰撞约束违规与Dirac Delta分布之间的分配匹配问题来填补这一空白。为了确保策划者的快速反应性，我们将每个分布嵌入重现Hilbert空间，并将分布匹配重新匹配，以最大程度地减少两个分布之间的最大平均差异（MMD）。我们表明，评估给定对照输入的MMD归结为仅矩阵矩阵产品。我们利用这种见解来开发一种简单的控制抽样方法，以避免动态和不确定的障碍。我们在两个方面推进了最新的。首先，我们进行了广泛的实证研究，以表明我们的计划者可以从样本级别的信息中推断出分布偏差。因此，它使用此见解来指导机器人良好的同型。我们还强调了基本不确定性的高斯近似如何失去偏置估计值，并引导机器人以高碰撞概率为不利状态。其次，我们显示了与以前的非参数和高斯近似反应性碰撞避免碰撞的碰撞方法的拟议分布匹配方法的切实比较优势。
translated by 谷歌翻译
我们提出了一个公平的衡量标准，以放松流行的平等赔率公平制度中的平等条件。我们设计了一种迭代，模型，基于网格的启发式启发式，该启发式校准了每个敏感属性值的结果以符合度量。该启发式旨在处理高Arity属性值，并执行跨不同受保护属性值的结果的每个属性消毒。我们还将启发式方法扩展到多个属性。强调了我们激励的应用，欺诈检测，我们表明所提出的启发式能够在单个受保护的属性，多个受保护的属性的多个值中实现公平性。与当前关注两组的公平技术相比，我们在几个公共数据集中实现了可比的性能。
translated by 谷歌翻译
最近的各向同性网络，例如Convmixer和Vision Transformers，在视觉识别任务中发现了巨大的成功，匹配或胜过非方向性卷积神经网络（CNNS）。各向同性架构特别适合跨层重量共享，这是一种有效的神经网络压缩技术。在本文中，我们对各向同性网络中共享参数的方法（SPIN）进行了经验评估。我们提出了一个框架，以形式化重量分享设计决策并对此设计空间进行全面的经验评估。在我们的实验结果的指导下，我们提出了一种重量共享策略，以与仅传统缩放方法相比，在拖放和参数与准确性方面，产生一个具有更好总体效率的模型家族，例如，将Convmixer压缩为1.9倍，同时提高准确性的准确性成像网。最后，我们进行定性研究，以进一步了解各向同性体系结构中的重量共享的行为。该代码可在https://github.com/apple/ml-pin上找到。
translated by 谷歌翻译
SIM到现实的转移是机器人增强学习的强大范式。在模拟中训练政策的能力可以以低成本快速探索和大规模数据收集。但是，机器人策略的SIM到现实转移的先前工作通常不涉及任何人类机器人的相互作用，因为准确模拟人类行为是一个空旷的问题。在这项工作中，我们的目标是利用模拟的力量来训练熟练在部署时与人类互动的机器人政策。但是有一个鸡肉和鸡蛋问题 - 我们如何收集人与物理机器人互动的例子，以在模拟中对人类行为进行建模，而没有已经有能够与人相互作用的机器人？我们提出的方法，即迭代-SIM-to-real（I-S2R），试图解决这个问题。 I-S2R引导程序来自一个简单的人类行为模型和在模拟和在现实世界中部署的训练之间的交替。在每次迭代中，人类行为模型和政策都得到了完善。我们在现实世界的机器人乒乓球环境中评估我们的方法，该机器人的目标是尽可能长时间与人类玩家合作。乒乓球是一项高速，充满活力的任务，要求两名球员对彼此的举动迅速做出反应，从而使测试床具有挑战性，以研究人类机器人互动。我们在一个工业机器人手臂上介绍了结果，该机器人能够与人类球员合作打乒乓球，平均获得22次连续击球的集会，充其量只有150个。此外，对于80％的球员来说，与SIM-TO-REAL（S2R）基线相比，拉力长度长70％至175％。有关我们系统中的视频，请参见https://sites.google.com/view/is2r。
translated by 谷歌翻译
联合学习仅通过将本地模型更新传输到中央服务器来减轻分布式学习的隐私风险。但是，它面临着挑战，包括客户数据集的统计异质性以及客户设备的资源限制，这严重影响了培训性能和用户体验。先前的工作通过将个性化与模型压缩方案结合起来解决了这些挑战，包括量化和修剪。但是，修剪是数据依赖性的，因此必须在客户端进行，这需要相当大的计算成本。此外，修剪通常会在\ {0，1 \} $中训练二进制超级卸义$ \，这显着限制了模型容量，但没有计算益处。因此，培训需要高计算成本，并且需要很长时间才能收敛，而模型性能则没有回报。在这项工作中，我们提出了Hidenseek，该HIDENSEK在初始化时采用单次数据不合稳定的修剪来获得基于权重的突触显着性的子网。然后，每个客户端优化了\ { - 1，+1 \} $乘以未经修复的权重的标志Super-Mask $ \，以允许更快的收敛速度与最先进的压缩率相同。三个数据集的经验结果表明，与最先进的hidenseek相比，Hidenseek将推论精度提高了40.6 \％，同时将沟通成本和培训时间分别降低了39.7 \％和46.8％。
translated by 谷歌翻译
涉及环境声音分析的音频应用越来越多地使用通用音频表示（也称为嵌入）进行转移学习。最近，对音频表示形式（HEAR）的整体评估评估了关于19个不同任务的29个嵌入模型。但是，评估的有效性取决于给定数据集中已经捕获的变化。因此，对于给定的数据域，尚不清楚表示形式如何受到由无数麦克风范围和声学条件引起的变化的影响 - 通常称为通道效应。我们的目标是扩展听力，以评估不变性以在这项工作中的渠道效果。为此，我们通过向音频信号注入扰动来模仿通道效应，并用三个距离测量方法测量新（扰动）嵌入的变化，从而使评估域依赖但不依赖于任务依赖性。结合下游性能，它有助于我们对嵌入方式对频道效果的鲁棒性进行更明智的预测。我们评估了两个嵌入 - Yamnet和OpenL3在单声道（Urbansound8K）和多音（Sonyc-ust）Urban数据集上。我们表明，在这种无关的评估中，一个距离度量不足。尽管FR \'Echet音频距离（FAD）与下游任务中的性能下降趋势相关，但我们表明我们需要与其他距离一起研究时尚，以清楚地了解对该时尚的整体效果扰动。就嵌入性能而言，我们发现OpenL3比Yamnet更强大，Yamnet与听觉评估保持一致。
translated by 谷歌翻译
2022-01-05
评估网络协议的真实表现是具有挑战性的。随机控制试验（RCT）对大多数研究人员来说是昂贵的并且无法进入，而专业设计的模拟器则无法捕获真实网络中的复杂行为。我们呈现MaunAlim，一种数据驱动的模拟器，用于解决这一挑战的网络协议。由于数据收集期间使用的协议引入的偏差，从观察数据中学习网络行为是复杂的。 MakAlAIM在一组协议下使用来自初始RCT的迹线来学习因果网络模型，有效地去除数据中存在的偏差。然后，使用此模型，可以在同一迹线上模拟任何协议（即，用于反事实预测）。因果的关键是对来自来自RCT的训练数据引起的分布修正因的对抗性神经网络培训进行了新的使用。我们对实际和合成数据集的MAURALAIM的广泛评估以及来自河豚视频流系统的两种用例，包括来自河豚视频流系统的超过九个月的实际数据，表明它提供了准确的反事预测，将预测误差降低了44％和53％平均值与专家设计和标准的监督学习基线相比。
translated by 谷歌翻译
我们认为具有非正度运动学的代理/机器人的问题避免了许多动态障碍。机器人和障碍物的状态和速度噪声以及机器人的控制噪声被建模为非参数分布，因为噪声模型的高斯假设被侵犯在现实世界中。在这些假设下，我们制定了一种强大的MPC，其以使机器人对准目标状态的方式有效地样本机器人控制，同时避免这种非参数噪声的胁迫下的障碍物。特别地，MPC包括分布匹配成本，其有效地将当前碰撞锥的分布对准到某个所需的分布，其样本是无碰撞的。这种成本在希尔伯特空间中作为距离功能构成，其最小化通常导致碰撞锥样品变得无碰撞。我们通过线性化原始非参数状态和障碍物分布的高斯近似来对比较和显示有形性能增益。我们还通过对非参数噪声的高斯近似构成的方法来表现出卓越的性能，而不会对进一步的线性提出进行这种近似的非参数噪声的高斯近似。性能增益在轨迹长度和控制成本方面都显示，其遵守所提出的方法的功效。据我们所知，这是在存在非参数状态，速度和致动器噪声模型存在下的运动障碍的第一次呈现。
translated by 谷歌翻译